선형 결합(Linear Combination)

$v_{1}, v_{2} \dots v_{p} \in R^{n}$ (n은 차원, p는 component vector의 개수)가 주어질 때,
weights $c_{1}, c_{2}, \dots, c_{p}$ 에 대하여 $c_{1} v_{1} + \dots + c_{p} v_{p}$ 로 이루어진 n차원의 새로운 vector를 만들 수 있으며, 이를 Linear Combination이라고 한다.

$A x = b$ 에 대하여, $A$ 의 column를 component Vector, $x$ 를 weights로 볼 수 있다.

기하학적으로 바라볼 때, 각각의 component vector에 대해서, weight가 얼마나 곱해지는지에 따라 n차원의 도형이 만들어진다.
**이 때, 한 component vector가 다른 componet vector들의 span에 의해 포함된다면, 이는 Linear Independent하지 않게 된다.

Matrix Multiplications as Column combination

Linear Combination을 통해, 행렬곱을 새롭게 볼 수도 있다.
오른쪽 행렬을 Weights로, 왼쪽 행렬을 Bases로 보는 것이다.
즉, 이 행렬곱을 통해 나오는 행렬의 각각의 벡터들은 왼쪽 행렬(Bases)의 Span에 포함되게 된다.

a_{11} a_{21} a_{31} a_{12} a_{22} a_{32} a_{13} a_{23} a_{33} b_{11} b_{21} b_{31} b_{12} b_{22} b_{32} = x_{1} x_{2} x_{3} y_{1} y_{2} y_{3}, x = x_{1} x_{2} x_{3}, y = y_{1} y_{2} y_{3}

x = a_{11} a_{21} a_{31} b_{11} + a_{12} a_{22} a_{32} b_{21} + a_{13} a_{23} a_{33} b_{31}

와 같이 각각의 vector가 Linaer Combination을 통해 이루어지는 것으로 볼 수 있다.

Row Combination에 대해서는 $(A B)^{⊤} = B^{⊤} A^{⊤}$ 가 성립하므로, 동일하게 된다.

Matrix Multiplications as Sum of Rank-1 outer products

행렬 곱을, rank-1의 외적한 결과의 벡터들의 합으로 볼 수 있다.
이는 Column-row Multiplication와 일치하며, 행렬을 decomposition 시키는데 이용된다.

a_{11} a_{21} a_{31} a_{12} a_{22} a_{32} [b_{11} b_{21} b_{12} b_{22} b_{13} b_{23}] = a_{11} a_{21} a_{31} [b_{11} b_{12} b_{13}] + a_{12} a_{22} a_{32} [b_{21} b_{22} b_{23}]

와 같이, Sum of Rank-1 outer products 로 볼 수 있다.

Span

$v_{1}, v_{2} \dots v_{p} \in R^{n}$ 가 주어질 때, 이를 통해 만들 수 있는 모든 Linear combination들의 집합을 Span이라 한다. subset of $R^{n}$ spanned ( or generated) by $v_{1}, v_{2} \dots v_{p}$ 라고 부르기도 한다.

**이에 따라, $A x = b$ 의 해의 존재 여부는 $A = [a_{1} a_{2} a_{3}]$ 이라고 할 때,

b \in Sp an {a_{1}, a_{2}, a_{3}}

일 때만 성립한다.**

즉, b가 span에 존재할 때만을 따지게 되며, component vector의 차원에 비하여 weights의 개수가 적다면, span의 차원 역시 작아지게 되므로 해가 존재할 가능성이 작아진다.